Zaharah memulakan kerjayanya dalam bidang undang-undang pada 26 April 1977 sebagai pegawai undang-undang. Beliau kemudian dilantik menjadi Perkhidmatan Kehakiman dan Perundangan dan memegang jawatan Majistret di Alor Gajah, Jasin, dan Merlimau, semuanya di Melaka.

Antara tahun 1981 hingga 2004, beliau mengambil alih pelbagai jawatan di Jabatan Peguam Negara Malaysia dan Kementerian Perdagangan Dalam Negeri dan Hal Ehwal Pengguna. Jawatan terakhir beliau dalam perkhidmatan itu adalah sebagai Pelukis Parlimen antara 1996 dan 2004.

Pada 1 Ogos 2004, beliau dilantik sebagai Pesuruhjaya Kehakiman Mahkamah Tinggi Malaya dan berkhidmat di Mahkamah Tinggi Kuala Lumpur dan Shah Alam. Pada 28 Julai 2006, beliau telah disahkan sebagai Hakim Mahkamah Tinggi.

Pada 14 April 2010, beliau dinaikkan sebagai hakim Mahkamah Persekutuan Malaysia.

Pada 16 Februari 2015, beliau dilantik sebagai hakim Mahkamah Rayuan Malaysia.

Pada 11 Julai 2018, Ibrahim dilantik ke jawatan Ketua Hakim Mahkamah Tinggi Malaya oleh Yang di-Pertuan Agong. Beliau menggantikan Tan Sri Dato 'Sri Ahmad Maarop yang dinaikkan pangkat sebagai Presiden Mahkamah Rayuan Malaysia. Bagaimanapun, dia hanya bersumpah di Istana Kehakiman ketika beliau kembali ke Malaysia pada 17 Julai 2018, dan kemudian menjadi wanita kedua untuk mengambil jawatan kehakiman tertinggi ketiga negara itu.